데이터 사이언스 큰 데이터 다루기 🦏 큰 DataFrame 살펴보기 대부분의 데이터셋은 매우 크다 중간의 데이터들이 ...으로 생략되기도 한다 데이터셋 크기 확인하기 원하는 줄 수만큼 출력하기 columns 파악하기 DataFrame의 통계 정보 확인하기 원하는 기준으로 정렬하기 기존 DataFrame 변경하지 않는다 변경: inplace=True 🦏 큰 Series 살펴보기 큰 Seires 살펴보기 중간에 ...으로 생략된... 데이터 사이언스pythonpandas데이터dataframedataframe Deep Learning - 이미지 처리 CNN 이용한 이미지 분류 모델 구현 실습 (1) 커머스 산업에 관심이 많다보니, 커머스에서 사용할 수 있는 모델을 구상해보았고, 이미지를 통한 카테고리 분류를 한다면 하루에도 수많은 상품이 업데이트되는 커머스 플랫폼에선 자동화의 일환으로 사용할 수 있을 것이다. Cifar10 데이터를 이용한 실습 keras 제공 cifar10 데이터를 이용하기 위해 불러온 뒤, 정규화를 위해 255로 나눠준다. 기본적으로 cifar10 데이터는 10개의 ... 데이터 사이언스모델구현딥러닝CNN이미지처리CNN DataFrame 실습 ✍ 수강신청 준비하기 수강신청 조건 "information technology" 과목 >> 1학년 신청 불가 "commerce" 과목 >> 4학년 신청 불가 수강생이 5명 미만인 강의는 폐강 기존 DataFrame에 "status"라는 이름의 column 추가 수강 가능 상태이면 "allowed" 수강 불가능한 상태이면 "not allowed" "status" column 만들기 "infor... 데이터 사이언스pythonpandas데이터실습dataframedataframe NOSQL와 관계형데이터베이스 정리, pymongo(python)을 이용한 MONGODB Atlas 연결 확장성 (NoSQL은 수평확장이 가능) 용량이 큰 데이터의 경우 빠르게 적재가 가능 (빅데이터의 활용) 관계형 데이터베이스(RDB)의 특징 고정된 스키마로 인해 명확하고 논리적인 데이터 구조, 데이터 간의 관계 파악 가능. NoSQL에 비해 데이터 적재 시 유연성이 떨어짐 > 스키마 구조가 명확해야 적재도 가능. DB엔진 별로 다르지만, _id를 식별자로 자동(document)또는 수동(ke... 데이터 베이스데이터 사이언스자료 수집데이터 베이스 Object Detection 네트워크 및 성능 상관 관계 📲 Object Detection 네트워크 개요 Feature Extractor Network VGG, RESNET, INCEPTION 등 보통 ImageNet 데이터 세트 기반으로 Pretrained 됨 Image Classification에서 큰 활약 CNN Network Model(backbone) Feature Map의 사이즈는 감소하지만 깊이는 증가 깊어질수록 추상화되고 핵심적인 f... 데이터데이터 사이언스Object DetectionVISIONObject Detection Feature Engineering - 범주형 feature에 대한 처리Encoders(OneHotEncoder / OrdinalEncoder) Categorical Feature(범주형 특성)는 String으로 되어있거나 그 의미가 수치와 관련있지 않은 경우 이를 수치화 하여 해당 범주를 특성으로 만들어 그 범주 별로 영향력을 높이기 위한 인코딩 방법중 하나이다. 예를 들어, 샘플별로 정해진 컬러가 있는 COLOR feature가 있고, 그 범주들이 각각 RED, YELLOW, BLUE로 정해져 있을 때, 기계학습 진행 시 이 특성... 머신러닝데이터 사이언스인코더데이터 사이언스
큰 데이터 다루기 🦏 큰 DataFrame 살펴보기 대부분의 데이터셋은 매우 크다 중간의 데이터들이 ...으로 생략되기도 한다 데이터셋 크기 확인하기 원하는 줄 수만큼 출력하기 columns 파악하기 DataFrame의 통계 정보 확인하기 원하는 기준으로 정렬하기 기존 DataFrame 변경하지 않는다 변경: inplace=True 🦏 큰 Series 살펴보기 큰 Seires 살펴보기 중간에 ...으로 생략된... 데이터 사이언스pythonpandas데이터dataframedataframe Deep Learning - 이미지 처리 CNN 이용한 이미지 분류 모델 구현 실습 (1) 커머스 산업에 관심이 많다보니, 커머스에서 사용할 수 있는 모델을 구상해보았고, 이미지를 통한 카테고리 분류를 한다면 하루에도 수많은 상품이 업데이트되는 커머스 플랫폼에선 자동화의 일환으로 사용할 수 있을 것이다. Cifar10 데이터를 이용한 실습 keras 제공 cifar10 데이터를 이용하기 위해 불러온 뒤, 정규화를 위해 255로 나눠준다. 기본적으로 cifar10 데이터는 10개의 ... 데이터 사이언스모델구현딥러닝CNN이미지처리CNN DataFrame 실습 ✍ 수강신청 준비하기 수강신청 조건 "information technology" 과목 >> 1학년 신청 불가 "commerce" 과목 >> 4학년 신청 불가 수강생이 5명 미만인 강의는 폐강 기존 DataFrame에 "status"라는 이름의 column 추가 수강 가능 상태이면 "allowed" 수강 불가능한 상태이면 "not allowed" "status" column 만들기 "infor... 데이터 사이언스pythonpandas데이터실습dataframedataframe NOSQL와 관계형데이터베이스 정리, pymongo(python)을 이용한 MONGODB Atlas 연결 확장성 (NoSQL은 수평확장이 가능) 용량이 큰 데이터의 경우 빠르게 적재가 가능 (빅데이터의 활용) 관계형 데이터베이스(RDB)의 특징 고정된 스키마로 인해 명확하고 논리적인 데이터 구조, 데이터 간의 관계 파악 가능. NoSQL에 비해 데이터 적재 시 유연성이 떨어짐 > 스키마 구조가 명확해야 적재도 가능. DB엔진 별로 다르지만, _id를 식별자로 자동(document)또는 수동(ke... 데이터 베이스데이터 사이언스자료 수집데이터 베이스 Object Detection 네트워크 및 성능 상관 관계 📲 Object Detection 네트워크 개요 Feature Extractor Network VGG, RESNET, INCEPTION 등 보통 ImageNet 데이터 세트 기반으로 Pretrained 됨 Image Classification에서 큰 활약 CNN Network Model(backbone) Feature Map의 사이즈는 감소하지만 깊이는 증가 깊어질수록 추상화되고 핵심적인 f... 데이터데이터 사이언스Object DetectionVISIONObject Detection Feature Engineering - 범주형 feature에 대한 처리Encoders(OneHotEncoder / OrdinalEncoder) Categorical Feature(범주형 특성)는 String으로 되어있거나 그 의미가 수치와 관련있지 않은 경우 이를 수치화 하여 해당 범주를 특성으로 만들어 그 범주 별로 영향력을 높이기 위한 인코딩 방법중 하나이다. 예를 들어, 샘플별로 정해진 컬러가 있는 COLOR feature가 있고, 그 범주들이 각각 RED, YELLOW, BLUE로 정해져 있을 때, 기계학습 진행 시 이 특성... 머신러닝데이터 사이언스인코더데이터 사이언스